Weichs (thứ ba từ trái sang) với Johannes Blaskowitz (phải, cầm bản đồ) tại Warszawa trong cuộc xâm lược Ba Lan, 1939

Để chuẩn bị cho cuộc xâm lược Ba Lan của Đức khơi mào Thế chiến thứ hai vào năm 1939, Weichs được bổ nhiệm làm chỉ huy Binh đoàn "Weichs", một đơn vị thành lập lâm thời cấp quân đoàn mang tên ông. Sau khi Ba Lan đầu hàng, ông được bổ nhiệm làm Tư lệnh Tập đoàn quân số 2, một bộ phận của Cụm tập đoàn quân A do Gerd von Rundstedt chỉ huy ở mặt trận phía Tây. Sau Trận chiến nước Pháp, ông được tặng thưởng Huân chương Chữ thập Hiệp sĩ và được thăng cấp Đại tướng. Dẫn đầu đạo quân thuộc quyền, Weichs tham gia Chiến dịch Balkan, và để chuẩn bị cho Chiến dịch Barbarossa, ông được giao chỉ huy Tập đoàn quân số 2 như một bộ phận của Cụm tập đoàn quân Trung tâm do Fedor von Bock chỉ huy. Ông chỉ huy Tập đoàn quân số 2 vào năm 1941 qua Trận Kiev, Trận Smolensk, và sau đó đến Vyazma và Bryansk.

Gerd von Rundstedt với Weichs ở Pháp, tháng 6 năm 1940

Năm 1942, trong Chiến dịch Blau, Weichs được giao chỉ huy Cụm tập đoàn quân B mới được thành lập.[3] Cụm tập đoàn quân B bao gồm Tập đoàn quân số 2 của Salmuth, Tập đoàn quân thiết giáp số 4 của Hoth và Tập đoàn quân số 6 của Paulus. Ngoài các tập đoàn quân Đức, Cụm tập đoàn quân B gồm Tập đoàn quân số 2 Hungary, Tập đoàn quân số 8 Ý, Tập đoàn quân số 3 và 4 Romania. Tập đoàn quân 6 được giao nhiệm vụ đánh chiếm thành phố Stalingrad và phụ trách chiến tuyến với chiều dài khoảng 800 km.

Weichs (phải) ở Nga trong thời gian diễn ra Chiến dịch Blau, tháng 9 năm 1942

Tuy nhiên, Chiến dịch Sao Thiên Vương của Liên Xô đã chọc thủng cánh quân Romania ở hai bên sườn mũi tiến công của quân Đức, cắt đứt nối kết và bao vây Tập đoàn quân 6 bên trong Stalingrad. Trước tình hình nguy cấp, Weichs đã đề nghị cho quân Đức rút lui nhưng không được Hitler đồng ý. Sau đó, Weichs bị tước quyền chỉ huy, Cụm tập đoàn quân B bị giải thể và những phần còn lại của nó được hợp nhất vào Cụm tập đoàn quân Sông Don mới thành lập, do Manstein chỉ huy.

Mặc dù vậy, Weichs vẫn được thăng cấp Thống chế vào ngày 1 tháng 2 năm 1943. Tháng 8 năm 1943, Weichs được bổ nhiệm làm Tư lệnh Cụm tập đoàn quân F tại Balkan, chỉ đạo các hoạt động chống các nhóm du kích địa phương. Từ tháng 8 năm 1943, Weichs giữ chức vụ Tổng tư lệnh phía Đông Nam (OB Südost), chỉ huy lực lượng quân Đức chiếm đóng Hy Lạp và Balkan (Nam Tư, Albania và Thrace). [4] Tháng 4 năm 1944, Weichs được bổ nhiệm vào chức vụ chỉ huy lực lượng quân Đức đóng tại Hungary. [5] Cuối năm 1944, ông giám sát việc quân Đức rút lui khỏi Hy Lạp và phần lớn Nam Tư.

Weichs nghỉ hưu vào ngày 25 tháng 3 năm 1945 và bị quân đội Mỹ bắt giữ vào tháng 5. Trong các phiên tòa Nuremberg, Weichs bị cáo buộc có liên can đến các tội ác chiến tranh đã gây ra trong khi đàn áp các nhóm du kích tại các vùng chiếm đóng. Tuy nhiên, ông đã bị loại khỏi Phiên tòa xét xử Con tin của Quân đội Hoa Kỳ vì lý do y tế mà không bị đưa ra xét xử hay kết án.